[shadow] Be smarter about what we check to avoid unnecessary brute-force searches

The old code checked only if the page was still a pagetable before
doing a brute-force search, rather than checking if it was still
shadowed as the type indicated.  This meant that if a page was shadowed
as two different types, it was guaranteed to do a full brute-force search
even if all references could be found by up-pointers.

This checks the proper thing so that it will only do a brute-force if
necessary.

It also re-orders the unshadows so that higher levels are done first.  In
many cases, lower-level shadows will be destroyed in the process of
higher-level shadows being destroyed, again saving brute-force searches.

[SHADOW] Use fast-unshadow for early_unshadow heuristic.

hvm: hvm_{load,store}_cpu_guest_regs() does not touch segment
selectors. We have separate accessors for that now. It is now an
invariant that guest_cpu_user_regs()->{cs,ds,es,fs,gs,ss} are invalid
for an HVM guest.
Signed-off-by: Keir Fraser <keir@xensource.com>

PCI passthru various Xen changes.
Signed-off-by: Allen Kay <allen.m.kay@intel.com>
Signed-off-by: Guy Zana <guy@neocleus.com>

PCI passthru: VT-d I/O hooks.
Signed-off-by: Allen Kay <allen.m.kay@intel.com>
Signed-off-by: Guy Zana <guy@neocleus.com>

IRQ injection changes for HVM PCI passthru.
Signed-off-by: Allen Kay <allen.m.kay@intel.com>
Signed-off-by: Guy Zana <guy@neocleus.com>

Log an error when enabling shadow mode fails for live relocation.
Signed-off-by: Doug Merrill <dpmerrill@novell.com>

Evaluate XEN_GUEST_HANDLE_64 twice.

This fixes a build error for PV guests (OpenBSD, NetBSD) where the use
of XEN_GUEST_HANDLE_64(uint8_t) leads to a build error because uint8_t
is a #define and not a typedef.

Signed-off-by: Christoph Egger <Christoph.Egger@amd.com>

xm: Extend width of ID in 'xm list --label' to 5 digits
Signed-off-by: Masaki Kanno <kanno.masaki@jp.fujitsu.com>

[VTPM] VTPM manager -- Fix parameter check

If vtpm_managed is started with the same vtpm instance, the following
error occurs.

++++++++++++
 Loading NVM.
         Sending LoadNVM command
 INFO[VTSP]: Unbinding 256 bytes of data.
 ERROR in VTSP_Unbind at vtsp.c:719 code: TPM_BAD_PARAMETER.
 ERROR in envelope_decrypt at securestorage.c:156
 code:TPM_BAD_PARAMETER.
 ERROR[VTPM]: Failed to envelope decrypt data
 .ERROR in VTPM_Handle_Load_NVM at securestorage.c:284 code:
 TPM_BAD_PARAMETER.
 ERROR[VTPM]: Failed to load NVM
 .INFO[VTPM]: [VTPM Listener]: VTPM Listener waiting for messages.
         Reading LoadNVM header
++++++++++++

Signed-off-by: Kouichi YASAKI <yasaki.kouichi@jp.fujitsu.com>

[VTPM] Fix vTPM function in HVM domain

In Windows on HVM domain, GetPubkey function and Seal function become
an error.

Signed-off-by: Kouichi YASAKI <yasaki.kouichi@jp.fujitsu.com>

Intercept TS on SVM.

Signed-off-by: Steven Hand <steven@xensource.com>

Revert 15826:447db1235adf1bc59bbd76c951716c3df7ee8843.

Re-enables NMI delivery in HVM guests now that hardware task switching
is emulated.

Signed-off-by: Keir Fraser <keir@xensource.com>

hvm: Support hardware task switching.
Signed-off-by: Keir Fraser <keir@xensource.com>

hvm: New HVM function hvm_set_segment_register().
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEN] p2m: internal p2m_set_entry() function uses types rather than
having callers decode them.
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

Intel vt-d specific changes in arch/x86/hvm/vmx/vtd.

Signed-off-by: Allen Kay <allen.m.kay@intel.com>
Signed-off-by: Guy Zana <guy@neocleus.com>

PCI passthru: tools changes (generic and vt-d)

I have added CONFIG_PASSTHROUGH in ioemu/Makefile.target and
ioemu/hw/pc.c in attached vtd_tools2.patch.  This should turn off
libpci usage by default until user specifically enables it.

This can be safely check-in without breaking builds for people who do
not care about pass-through devices.  I will try to think of a better
way to enable this.

Signed-off-by: Allen Kay <allen.m.kay@intel.com>
Signed-off-by: Guy Zana <guy@neocleus.com>

x86: fix NUMA code for 32bit

I don't know how significant this is (most of the NUMA node data seems
unused at this point), but anyway: enable proper operation of NUMA
emulation and the fake NUMA node in case there's no SRAT table on
x86-32. This will at least make the "Faking node ..." message not
print confusing information anymore.

Signed-off-by: Jan Beulich <jbeulich@novell.com>

qemu-dm: fix block-raw io debug print
Signed-off-by: Yosuke Iwamatsu <y-iwamatsu@ab.jp.nec.com>

Fix xm dump-core command for paused domain.
Signed-off-by: Masaki Kanno <kanno.masaki@jp.fujitsu.com>

Fix 'xm reboot'
Signed-off-by: Jim Fehlig <jfehlig@novell.com>

Fix two memory leaks in xend.
Signed-off-by: Kouya Shimura <kouya@jp.fujitsu.com>

Let Xen cmdline boolean options be specified as "=0", "=1", "=false", "=true".
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEN] add typed p2m entry-setting function
keeping the old one as a fallback for RAM mappings.
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

Generic and VT-d specific Xen header changes for PCI passthru.
Signed-off-by: Allen Kay <allen.m.kay@intel.com>
Signed-off-by: Guy Zana <guy@neocleus.com>

x86: allow Dom0 to drive PC speaker
as long as Xen doesn't itself make use of PIT channel 2.

Signed-off-by: Jan Beulich <jbeulich@novell.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEN] Fix assert in typed p2m code
as spotted by GCC-4's enthusiastic warnings.
Signed-off-by: Christoph Egger <Christoph.Egger@amd.com>

docs: Fix typos.
Signed-off-by: Atsushi SAKAI <sakaia@jp.fujitsu.com>

[xm-test] Set "console=xvc0" for xm-test guests on Intel architecture platforms.
Tests have been failing because the console for the test ramdisk wasn't using
xvc0 so testcases were not able to interact with it.

Signed-off-by: James Bulpin <james@xensource.com>

[QEMU] Enhance raw io reliability

For raw block device only :
log any I/O error and perform automatic read retry for CDrom
(improves MediaCheck with old installers).

Signed-off-by: Ben Guthro <bguthro@virtualiron.com>
Signed-off-by: Josh Nicholas <jnicholas@virtualiron.com>

qemu: Backport qemu vnc/event-loop fix from upstream.
Signed-off-by: Keir Fraser <keir@xensource.com>

hvmloader: ACPI DSDT dynamically indicates presence of COM1/COM2 ports
according to qemu emulation.
Signed-off-by: Keir Fraser <keir@xensource.com>

Fix memory leak in xend

I found that xend's memory usage grows considerably when running a
script such as

while true; do xm new foo ; sleep 2s; xm delete foo ; sleep 2s; done

XendAPIStore maintains a list of class instances and in the case of
new/create operation, an associated VMMetrics object is stashed in the
list but never removed on delete/shutdown.  This patch removes the
instance by invoking XendBase.destroy() method.

Signed-off-by: Jim Fehlig <jfehlig@novell.com>

Add 'type vnc' to vfb device sexpr for HVM guest

This patch adds 'type vnc' to vfb device sexpr for HVM guests.  PV
guests already contain this entry in sexpr, e.g.

    (device
        (vfb
            (vncunused 1)
            ...
           (type vnc)
            ...
        )
    )

Some tools, such as libvirt, look for device/vfb/type in sexpr before
publishing VNC port.  More importantly, this patch provides
consistency in vfb device sexpr between HVM and PV guests.

Signed-off-by: Jim Fehlig <jfehlig@novell.com>

Xend: "shadow_memory" setting in xm config is in MiB, not bytes.
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

x86: Clean up asm keyword usage (asm volatile rather than __asm__
__volatile__ in most places) and ensure we use volatile keyword
wherever we have an asm stmt that produces outputs but has other
unspecified side effects or dependencies other than the
explicitly-stated inputs.

Also added volatile in a few places where its not strictly necessary
but where it's unlikely to produce worse code and it makes our
intentions perfectly clear.

The original problem this patch fixes was tracked down by Joseph
Cihula <joseph.cihula@intel.com>.

Signed-off-by: Keir Fraser <keir@xensource.com>

x86: Use halt() macro instead of direct HLT asm.
Signed-off-by: Keir Fraser <keir@xensource.com>

xenstore: Remove incorrect comment.
Signed-off-by: Keir Fraser <keir@xensource.com>

merge with xen-unstable.hg (staging)

[IA64] Use xc_map_foreign_pages() in copy_from_GFW_to_nvram()

use xc_map_foreign_pages() where possible

Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

[IA64] Cleanup within vti code

Makes more functions/variables static.
Indentation changes to make the code easier to read.

Signed-off-by: Tristan Gingold <tgingold@free.fr>

x86: Cleanup system restart code, and wait 10ms for APs to offline.
Signed-off-by: Joseph Cihula <joseph.cihula@intel.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

x86: Handle 'self-IPI' on legacy UP systems with no APIC.
Signed-off-by: Keir Fraser <keir@xensource.com>

Change prototype of machine_restart to void machine_restart(void).
Signed-off-by: Keir Fraser <keir@xensource.com>

vmx: Sync with SVM TPR/CR8 changes.
Signed-off-by: Keir Fraser <keir@xensource.com>

svm: Greatly reduce total number of CR8 intercepts

This patch reduces the number of CR8 intercept to a fraction of the
number of CR8 intercepts without.  First, CR8 read intercepts are
completely disabled since the SVM vTPR is kept kept in sync with the
HVM vLAPIC TPR.  Second, CR8 write intercepts are enabled and disabled
based upon certain conditions.  Most of the time, CR8 write intercepts
are disabled.  They are enabled only when there is a pending interrupt
that can't be delivered because of either the current ISR or TPR (aka
PPR) because this is the only time the TPR matters.

With this patch, the number of CR8 intercepts dropped from around
10,000,000 to around 6,000 during boot of Windows 2003 Server 64-bit
(this is a rough estimate).

Signed-off-by: Travis Betak <travis.betak@amd.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

[HVM] Add type information to the p2m map.
This is a base for memory tricks like page sharing, copy-on-write, lazy
allocation etc.  It should also make pass-through MMIO easier to
implement in the p2m.
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

[libxen] Compilation fix.

On a clean system where no prior dev. version of libxen was installed,
the compilation fails due to a wrong include. This fixes it.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

Remove dead code in acpi sleep.
Signed-off-by Kevin Tian <kevin.tian@intel.com>

Install xen/xsm headers to .../usr/include/xen/xsm/
Signed-off-by: Ben Guthro <bguthro@virtualiron.com>

merge with xen-unstable.hg (staging)

hvm: Fix up guest_table handling after p2m changes.
Fixes a host crash on HVM guest restore.
Signed-off-by: Keir Fraser <keir@xensource.com>

x86/32: Fix domain_relinquish_resources().
Fixes a host crash on preempted domain_kill().
Signed-off-by: Keir Fraser <keir@xensource.com>

xc_map_foreign_pages(), a convenient alternative to xc_map_foreign_batch()

xc_map_foreign_batch() can succeed partially.  It is awkward to use
when you're only interested in complete success.  Provide new
xc_map_foreign_pages() convenience function for that kind of use.
Also convert two obvious calls to use it.

Signed-off-by: Markus Armbruster <armbru@redhat.com>

Fix error message and wait time for xm block-detach command.

 - Wait time
    When xm requests a block device detach to xend, xm makes two
    requests. At first, xm requests the block device detach by device
    class 'vbd'. Next, xm requests the block device detaching by
    device class 'tap'.
    As a result, the wait time is 200 seconds because each of
    the block device detaching requests causes time-out.
 - Misleading error message
    Because the last request is by device class 'tap' to xend,
    the keyword "(tap)" is included in the error message.

This patch fixes the number of times of the block device detaching
request to one time.  At first, xm makes inquiries about device
class of a detaching target device to xend.  Then xm requires the
block device detaching by xend returned device class.  The wait
time becomes 100 seconds because the block device detaching request
is one time.  And the error message is also fixed.

Signed-off-by: Masaki Kanno <kanno.masaki@jp.fujitsu.com>

xend: Fix error message for xm trigger command.

When I tested xm trigger command with a wrong argument, I saw the
following error message.

 # xm trigger vm1 xyz
 Error: __init__() takes exactly 2 arguments (3 given)
 Usage: xm trigger <Domain> <nmi|reset|init> [<VCPU>]

 Send a trigger to a domain.

This patch fixes the error message as follows.

 # xm trigger vm1 xyz
 Error: Invalid trigger: xyz
 Usage: xm trigger <Domain> <nmi|reset|init> [<VCPU>]

 Send a trigger to a domain.

The type of "TRIGGER_TYPE" is dictionary.  domain_send_trigger()
refers to the keys of "TRIGGER_TYPE" without using keys() currently.
This patch adds keys() there.

Signed-off-by: Masaki Kanno <kanno.masaki@jp.fujitsu.com>

xend: waitForDevices() on xm reboot.
Signed-off-by: Masaki Kanno <kanno.masaki@jp.fujitsu.com>

Fix xenstored's dup2() usage.

The dup2() calls had their arguments reversed. Also remove the
unnecessary close() calls.

Signed-off-by: John Levon <john.levon@sun.com>

PV-on-HVM: Fix non-SMP build warning for PV-on-HVM drivers.

smp_call_function() compiles to nothing on non-SMP, so we had a
defined-but-not-used static function.

Based on an original patch by:
Signed-off-by: Ben Guthro <bguthro@virtualiron.com>
Signed-off-by: Robert Phillips <rphillips@virtualiron.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

Check for libxml2 if security tools are to be built, and adapt the
python setup.py command line parameters to also work under SuSE.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

[IA64] Foreign p2m: make xc_ia64_get_pfn_list() static

Now xc_ia64_get_pfn_list() isn't used anymore.  Make it static.

Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

[IA64] Foreign p2m: rewrite save/restore with foreign p2m

Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

[IA64] Foreign p2m: xc_core: ia64 xc_core_arch_gpfn_may_present()

Prevent warning message when xm dump-core
Using foreign p2m exposure, we can avoid to map the page which isn't allocated.

Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

[IA64] Foreign p2m: test module

Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

[IA64] Foreign p2m: libxc side

Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

[IA64] Foreign p2m: xen side

Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

[IA64] Foreign p2m: Fix vti domain builder.

It should set arch_domain::convmem_end.

Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

[IA64] Add missing continuable destroy domain chunk

Signed-off-by: Akio Takebe <takebe_akio@jp.fujitsu.com>

[IA64] fix build - missing include

Signed-off-by: Alex Williamson <alex.williamson@hp.com>

merge with xen-unstable.hg (staging)

Fix domain restore after memory auto-balloon changes.
Signed-off-by: Keir Fraser <keir@xensource.com>

Fix xm-test python import after XSM security changes.
Signed-off-by: Keir Fraser <keir@xensource.com>

[XSM] correctly rename, relocate and patch the security.py file

This patch corrects an error in the original XSM tools patch.  The
original patch did not rename, relocate and patch the security.py file
from changeset 15730:256160ff19b7.  This patch addresses this issue as
well as any updates made to security.py in xen-staging during the
merge of XSM.

Signed-off-by: George Coker <gscoker@alpha.ncsc.mil>

[XSM] correctly located update_va_mapping hook within x86 ifdefs

The following patch addresses the issue where the XSM update_va_mapping
hook was not correctly located inside the x86 ifdefs.  Included are
updates for the dummy and flask modules which are also effected by
this issue.

    - update_va_mapping ifdef fix for xsm
    - update_va_mapping ifdef fix for dummy module
    - update_va_mapping ifdef fix for flask module

Signed-off-by: George Coker <gscoker@alpha.ncsc.mil>

[IA64] Supress warning of __assign_domain_page().

On Tiger, the following memory region triggers a warning.
It seems a false-positive warning caused by c/s 13123:90db0f68b121.
so suppress the warning in such a case.

EFI memory descriptor
(XEN) mem07: type= 5, attr=0x8000000000000009, range=[0x00000000000c0000-0x0000000000100000) (0MB)
type = EFI_RUNTIME_SERVICES_CODE
attribute = EFI_MEMORY_RUNTIME | EFI_MEMORY_WB | EFI_MEMORY_UC

from /proc/iomem
000a0000-000fffff : PCI Bus 0000:00
000c0000-000fffff : reserved

Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>
Acked-by: Simon Horman <horms@verge.net.au>

hvm: Ignore NMI deliveries for now, until hardware taskswitch is emulated.
Signed-off-by: Keir Fraser <keir@xensource.com>

hvm: Remove hvm-specific NMI flag and use generic flag instead.
Signed-off-by: Keir Fraser <keir@xensource.com>

Delete flask tools build target and add to .hgignore.
Signed-off-by: Keir Fraser <keir@xensource.com>

Build libflask unconditionally since the python low-level tools
require it and it does't seem to pull in any major dependencies.

The alternative would have been to hack tools/python/setup.py to
conditionally compile the flask stuff.

Signed-off-by: Ian Campbell <ian.campbell@xensource.com>

Fix 64 bit build, cannot mix code and data declarations.

Signed-off-by: Ian Campbell <ian.campbell@xensource.com>

Implement x86 continuable domain destroy.
This patch addresses the following bug report.
http://bugzilla.xensource.com/bugzilla/show_bug.cgi?id=1037
Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

xend: Always build lowlevel security modules, as there are some
dependencies on these from with xend proper.
Signed-off-by: Keir Fraser <keir@xensource.com>

Implement ia64 continuable domain destroy.
Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

Make XEN_DOMCTL_destroydomain hypercall preemptible, in a way that is
visible to the caller (via -EAGAIN return code).

This prevents softlockup in dom0 kernel, due to the hypercall taking
too long to execute on very large (multi-multi-gigabyte) domains.

Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>
Signed-off-by: Keir Fraser <keir@xensource.com>

libxenctrl: xc_destroy_domain() handles EAGAIN.
Signed-off-by: Isaku Yamahata <yamahata@valinux.co.jp>

xend: Correct indexing in xc_cpu_to_node_t map.
Signed-off-by: Beth Kon <eak@us.ibm.com>

xend: Add blktap disk type check

Print the following error when you give a wrong disk type to xm commands:
 # xm create /xen/vm1.conf disk='tap:xxx:/xen/root-vm1.img,hda1,w'
 Using config file "/xen/vm1.conf".
 Error: tap:xxx not a valid disk type

 # xm block-attach vm2 tap:yyy:/xen/second.img hdb1 w
 Error: tap:yyy not a valid disk type
 Usage: xm block-attach <Domain> <BackDev> <FrontDev> <Mode>
 [BackDomain]

Signed-off-by: Masaki Kanno <kanno.masaki@jp.fujitsu.com>

Add line termination to 'echo' usage in network-bridge script.
Signed-off-by: Masaki Kanno <kanno.masaki@jp.fujitsu.com>

Fix handling of auto-generated file xsm.py.
Signed-off-by: Keir Fraser <keir@xensource.com>

Cleanups after XSM checkin.
Signed-off-by: Keir Fraser <keir@xensource.com>
--HG--
rename : xen/include/public/acm.h => xen/include/public/xsm/acm.h
rename : xen/include/public/acm_ops.h => xen/include/public/xsm/acm_ops.h
rename : xen/include/acm/acm_core.h => xen/include/xsm/acm/acm_core.h
rename : xen/include/acm/acm_endian.h => xen/include/xsm/acm/acm_endian.h
rename : xen/include/acm/acm_hooks.h => xen/include/xsm/acm/acm_hooks.h

Xen Security Modules: ACM.
Signed-off-by: George Coker <gscoker@alpha.ncsc.mil>

Xen Security Modules: Tools.
Signed-off-by: George Coker <gscoker@alpha.ncsc.mil>

Xen Security Modules: FLASK
Signed-off-by: George Coker <gscoker@alpha.ncsc.mil>

Xen Security Modules: XSM
Signed-off-by: George Coker <gscoker@alpha.ncsc.mil>

DEFINE_XEN_GUEST_HANDLE is evaluated by the pre-processor twice. Do this also for XEN_GUEST_HANDLE.

This fixes a build error for PV guests (OpenBSD, NetBSD) where the use
of XEN_GUEST_HANDLE(uint8_t) leads to a build error because uint8_t is
a #define instead a typedef.

Signed-off-by: Christoph Egger <Christoph.Egger@amd.com>

Fix blktap script for versions of readlink command that do not handle
regular files.
Signed-off-by: Ben Guthro <bguthro@virtualiron.com>
Signed-off-by: Josh Nicholas <jnicholas@virtualiron.com>

[HVM] Shadow: don't shadow the p2m table.
For HVM vcpus with paging disabled, we used to shadow the p2m table,
and skip the p2m lookup to go from gfn to mfn.  Instead, we now
provide a simple pagetable that gives a one-to-one mapping of 4GB, and
shadow that, making the translations from gfn to mfn via the p2m.
This removes the paging-disabled special-case code from the shadow
fault handler, and allows us to expand the p2m interface, since all HVM
translations now go through the same p2m lookups.
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

[XEN] Shadow: remove ununsed function shadow_convert_to_log_dirty().
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

Support extensions to Intel architecture for TXT/SMX.
Signed-off-by: Joseph Cihula <joseph.cihula@intel.com>
Signed-off-by: Keir Fraser <keir@xensource.com>